The Swans được thành lập năm 1963 với tên gọi Newport Pagnell Wanderers. Năm 1964 đội bóng gia nhập North Bucks & District Football League, vô địch Division Three ngay lần đầu tiên. Khi một đội bóng địa phương duy nhất khác (đến từ công trường Aston Martin) giải thể, nhiều cầu thủ ở đó gia nhập The Swans, sau đó vô địch Division Two và ngay cả Division One trong những mùa giải thành công liên tiếp, trước khi trở nên gần đương kim vô địch gần như bất bại trong ba mùa giải.

Năm 1972 The Swans gia nhập South Midlands League, thi đấu với cơ sở vật chất ở đội trẻ tại Wolverton Road trước khi chuyển đến sân đấu hiện tại, Willen Road. Cùng thời điểm đó, đội đổi tên từ Wanderers thành Town và năm 1973 Newport Pagnell Town đến chơi ở United Counties Football League.

The Swans bắt đầu ở hạng đấu cũ Division Two, bây giờ đã hủy bỏ. Năm 1976 họ giành quyền thăng hạng Division One khi đứng á quân và năm 1982 vô địch Division One sau khi chỉ thua một trận trong cả mùa giải. Kể từ mùa giải đầu tiên ở Premier Division là 1982–83, the Swans di chuyển lên xuống giữa 2 hạng đấu; đây là mùa giải thứ 16 ở Premier Division của đội bóng so với 11 mùa giải tại Division One.

Đội bóng khởi đầu mùa giải 2008–09 bằng việc lần đầu tiên vào đến Vòng loại 2 của FA Cup, sau khi giành chiến thắng trước VT, Cirencester Town và Marlow.